Merge branch 'master' into scratch/correct-warning-pos

Merge branch:
commit d29291d665e808307126bf52c3e748fef78f0f9c (HEAD -> master,
origin/master, origin/HEAD)
Author: Stefan Monnier <monnier@iro.umontreal.ca>
Date:   Fri Jan 14 12:26:30 2022 -0500

    (macroexp--expand-all): Fix bug#53227 and bug#46636

Commit fixes and enhancements to the scratch/correct-warning-pos branch

No longer strip positions from symbols before each use of a form, instead
relying on the low level C routines to do the right thing.  Instead strip them
from miscellaneous places where this is needed.  Stip them alson in
`function-put'.

Push forms onto byte-compile-form-stack and pop them "by hand" rather than by
binding the variable at each pushing, so that it will still have its data
after an error has been thrown and caught by a condition case.  This gives an
source position to the ensuing error message.

* lisp/emacs-lisp/byte-run.el (byte-run--ssp-seen, byte-run--circular-list-p)
(byte-run--strip-s-p-1, byte-run-strip-symbol-positions): New functions and
variables, which together implement stripping of symbol positions.  The latest
(?final) version modifies the argument in place rather than making a copy.
(function-put): Strip symbol positions from all of the arguments before doing
the `put'.

* lisp/emacs-lisp/bytecomp.el (byte-compile--form-stack): has been renamed to
byte-compile-form-stack and moved to macroexp.el.
(byte-compile-initial-macro-environment (eval-and-compile)): Replace
macroexpand-all-toplevel with macroexpand--all-toplevel.
(displaying-byte-compile-warnings): bind byte-compile-form-stack here.
(byte-compile-toplevel-file-form, byte-compile-form): Push the top level form
onto byte-compile-form-stack (whereas formally the variable was bound at each
pushing).  Manually pop this from of the variable at the end of the function.

* lisp/emacs-lisp/cl-macs.el (cl-define-compiler-macro): Remove the symbol
stripping.

* lisp/emacs-lisp/comp.el (comp--native-compile): Set max-specpdl-size to at
least 5000 (previously it was 2500).  Bind print-symbols-bare to t.

* lisp/emacs-lisp/macroexp.el (byte-compile-form-stack): Definition move here
from bytecomp.el for easier compilation.
(byte-compile-strip-symbol-positions and associated functions): Removed.
(macro--expand-all): push argument FORM onto byte-compile-form-stack at the
start of this function, and pop it off at the end.
(internal-macroexpand-for-load): No longer strip symbol positions.  Bind
symbols-with-pos-enabled and print-symbols-bare to t.

* lisp/help.el (help--make-usage): Strip any position from argument ARG.

* src/fns.c (Fput): No longer strip symbol positions from any of the
arguments.

(macroexp--expand-all): Fix bug#53227 and bug#46636

* lisp/emacs-lisp/macroexp.el (macroexp--expand-all): Don't mis-expand
invalid funcalls.

image-dired: Use MD5 for thumb filename generation

* lisp/image-dired.el (image-dired-thumb-name): Revert back to MD5 for
file name generation to preserve backwards-compatibility.  (Bug#53229)

* src/xterm.c: Add a small writeup on input handling on X.

Hopefully I will extend this section with details about more
aspects of X11 support in the future.

Regenerate ldefs-boot.el

Skip ffap test on some systems

Make function-alias-p use a better error symbol

* lisp/subr.el (function-alias-p): Use the same error symbol as
`indirect-function'.

Don't have ffap interpret ":/bin" as the current directory

* lisp/ffap.el (ffap-file-at-point): Don't interpret :/bin as the
current directory (bug#52441).

Add a `shortdoc' convenience alias

* lisp/emacs-lisp/shortdoc.el (shortdoc): Add a convenience alias
(bug#52968).

Fix leak when refs are sent to a frame during destruction on Haiku

* src/haikuterm.c (haiku_read_socket): Free b->ref if it was
sent from a frame that was destroyed.

Make sure the X mouse position hook always looks at an X frame

* src/xterm.c (XTmouse_position): Check that f1 is an X frame.

spelling-tests.el: use ert-with-temp-directory

* test/lisp/so-long-tests/spelling-tests.el (so-long-spelling): Use
;ert-with-temp-directory' instead of passing :directory to
'ert-with-temp-file', and restore the prefix/suffix values used
originally with 'make-temp-file'.

spelling-tests.el: ignore errors when checking for ispell

ispell-valid-dictionary-list can signal an error, eg when the local
hunspell installation cannot find any dictionaries, so it's best to
ignore that error.

* test/lisp/so-long-tests/spelling-tests.el (so-long-spelling): Wrap
ispell check in ignore-errors, as ispell-valid-dictionary-list can
signal an error.

Add new context menu functions to the context-menu-functions type

* lisp/mouse.el (context-menu-functions): Add new menu functions
to the defcustom type list (bug#52973).

Add command to invoke a search engine

* mouse.el (context-menu-online-search): Add new function
(eww-search-prefix): Declare variable from eww.el
(mouse-online-search-at-point): Add new command

Implement context-menu-mode support for hi-lock

* hi-lock.el (hi-lock-symbol-at-mouse): Add new command
(hi-lock-context-menu): Add new function

Implement context-menu-mode support for man pages

* man.el (Man-at-mouse): Add new command
(Man-context-menu): Add new function

Fix @item in the Emacs manual

* doc/emacs/maintaining.texi (Identifier Search): Replace @itemx with @item.

* doc/emacs/search.texi (Special Isearch): Remove @item.

Fix mailcap setup when no mailcap files exist

* lisp/net/mailcap.el (mailcap-parse-mailcaps): Ensure that we
populate mailcap--computed-mime-data even if none of the files
exist (bug#53009).

(battery-status-function) Fix errors in Termux

* lisp/battery.el (battery-status-function): In Termux, neither
/sys/ or /proc/ are readable on phones that are not rooted. This
patch makes Emacs verify if they are readable before it attemps
reading them (bug#53026).

Copyright-paperwork-exempt: yes

Improve some nntp/nnimap error messages

* lisp/gnus/nntp.el (nntp-send-string):
(nntp-wait-for):
(nntp-accept-process-output):
(nntp-possibly-change-group):
* lisp/gnus/nnimap.el (nnimap-retrieve-headers): Improve error
messages (bug#53070).

* lisp/progmodes/xref.el (xref-query-replace-in-results): Fix prefix-arg.

Use current-prefix-arg.

* doc/emacs/search.texi (Special Isearch): Put related items together.

Move isearch-char-by-name closer to isearch-emoji-by-name.

Update docs of 'xref-query-replace-in-results'

* doc/emacs/maintaining.texi (Identifier Search): Update the
documentation of 'xref-query-replace-in-results'.

Use assq_no_quit on all local_var_alist accesses

* src/data.c (Fkill_local_variable):
* src/buffer.c (buffer_local_value): Use assq_no_quit instead of
Fassoc/Fassq on local_var_alist (bug#53242).

* src/data.c (Flocal_variable_p): Use assq_no_quit instead of
open-coding the search on local_var_alist.

Improve documentation of 'xref-find-references-and-replace'

* etc/NEWS: Clarify the 'xref-find-references-and-replace' entry.

* doc/emacs/maintaining.texi (Identifier Search): Document
'xref-find-references-and-replace'.

Fix python-eldoc affecting unrelated comint processes

* lisp/progmodes/python.el (python-shell-send-string-no-output): Don't
let-bind comint-preoutput-filter-functions globally for all comint
processes.  Modify the behaviour of only the current python
process (bug#53219).

; * INSTALL (Alternative window systems): Improve wording.

Improve function-alias-p documentation

* doc/lispref/functions.texi (Defining Functions): Improve the text.

Try to make sure an XKB desc is always available

* src/xterm.c (handle_one_xevent): Re-retrieve XKB map if it's
unavailable for some reason upon handling an XKB map or keyboard
notify event.

Fix byte-compilation warning in pcvs-info

* lisp/vc/pcvs-info.el (cvs-mode-toggle-mark): Fix
byte-compilation warning.

Merge from origin/emacs-28

34ca4ff9a5 Fix Edebug specification for inline functions (Bug#53068).
3c06c37a8b Remove mention of removed `gnus-treat-play-sounds' variabl...

* INSTALL: Document using Emacs on alternative window systems.

; Tweak the NEWS entry

xref-find-references-and-replace: New command

* lisp/progmodes/xref.el (xref-find-references-and-replace):
New command.

Steamline xref-query-replace-in-results

* lisp/progmodes/xref.el (xref-query-replace-in-results):
Steamline the most common scenario
(https://lists.gnu.org/archive/html/emacs-devel/2022-01/msg00864.html).

Fix out of bounds bitmap access on Haiku

* src/haiku_draw_support.cc (BView_DrawBitmapWithEraseOp): Fix
out of bounds access to bitmap data.

Refresh keyboard mapping upon receiving new XKB map

* src/xterm.c (handle_one_xevent): Call
XkbRefreshKeyboardMapping where required.

Prefer defvar-keymap to easy-mmode-defmap

* lisp/progmodes/gud.el (gud-minibuffer-local-map):
* lisp/vc/pcvs-info.el (cvs-status-map): Use defvar-keymap.

* lisp/emacs-lisp/easy-mmode.el (easy-mmode-defmap): Document as
deprecated.

; tweak doc

Improve documentation of 'isearch-emoji-by-name'

* lisp/isearch.el (isearch-menu-bar-map, isearch-emoji-by-name):
Fix wording of documentation.

* etc/NEWS: Fix wording of the 'isearch-emoji-by-name' entry.

* doc/emacs/search.texi (Special Isearch): Fix wording of the
documentation of 'isearch-emoji-by-name'; move it out of the
enumeration that deals with non-ASCII characters in general.

Fix frame-undeletion menu items

* lisp/menu-bar.el (menu-bar-file-menu): Fix wording of the new
menu items and their help-echo.  Don't show "Undelete Frame"
in the menu unless there is a frame to undelete.

Avoid scrolling display when point moves into invisible text

* src/xdisp.c (try_cursor_movement): Handle point moving into
invisible text.  (Bug#53215)

* doc/lispref/functions.texi (Defining Functions): Fix thinko.

Fix Edebug specification for inline functions (Bug#53068).

* lisp/emacs-lisp/inline.el (inline-quote): Fix Edebug specification.

* test/lisp/emacs-lisp/edebug-tests.el (edebug-tests-inline): New unit
test.

Improve preserving X coordinate during scroll commands

* src/window.c (window_scroll_pixel_based): Don't unnecessarily
move the iterator.  (Bug#53220)

* lisp/jsonrpc.el (Version): Bump to 1.0.15.

Fix passive input focus when the pointer moves over inferiors

* src/xterm.c (handle_one_xevent): Don't detect focus on entry
and exit events if we're not on the top window.

; * test/lisp/progmodes/flymake-tests.el: remove duplicate function

spelling-tests.el: actually create a temp directory

This test was creating a file, but actually needs a directory, and
fails otherwise.

* test/lisp/so-long-tests/spelling-tests.el (so-long-spelling):
Pass the :directory arg to ert-with-temp-file so we actually
create a directory.

Filter key release events through GTK when using native input

* src/gtkutil.c (xg_filter_key): Set correct event type for key
release events.
* src/xterm.c (x_filter_event): Also filter release events.

Make ert explainers work on function aliases

* lisp/emacs-lisp/ert.el: New function.
(ert--expand-should-1): Use it (bug#53178).

Avoid infloops in help-fns--analyze-function with aliases

* lisp/help-fns.el (help-fns--analyze-function): Use
function-alias-p to avoid infloops.

Add new function function-alias-p

* doc/lispref/functions.texi (Defining Functions): Document it.
* lisp/subr.el (function-alias-p): New function (bug#53178).

Undelete deleted frames.

* lisp/frame.el (undelete-frame): New command.
(undelete-frame--handle-delete-frame): New auxiliary function.
(undelete-frame--deleted-frames): New auxiliary variables.
(undelete-frame-mode): New minor mode.
(ctl-x-5-map): Bind the new command.

* etc/NEWS: Document the new command and minor mode.

* src/frame.c (Fdelete_frame): Update docstring, and mention the
minor mode.

* lisp/menu-bar.el (menu-bar-file-menu): Add an entry for the
new command.

* doc/emacs/frames.tex (Frame Commands): Document the new command
and minor mode.

See bug#51883.

Remove mention of removed `gnus-treat-play-sounds' variable from manual

* info/gnus.info: Remove `gnus-treat-play-sounds' from
manual. According to lisp/gnus/ChangeLog.3 this variable was
removed in 2010 (bug#53192).

Fix GTK native input methods randomly freezing input

* src/gtkutil.c (xg_widget_key_press_event_cb): Exercise the X11
connection causing pselect to return immediately from input.
(bug#53160)

Block input when drawing fringe bitmaps on Haiku

* src/haikuterm.c (haiku_draw_fringe_bitmap): Block input.

Use XI2 focus events on X toolkit builds

* src/xfns.c (setup_xi_event_mask): Set focus masks on both the
shell window and the frame window.
* src/xterm.c (x_detect_focus_change): Enable XI2 focus code on
Xt.

* lisp/jsonrpc.el (jsonrpc--debug): Use apply on format args list.

Rework setting/unsetting of gnus-registry-enabled

The basic idea is, we're moving the setting/unsetting of
`gnus-registry-enabled' so that it is a more reliable indicator of
whether the registry is actually available or not.

* lisp/gnus/gnus-registry.el (gnus-registry-load): Move the setting of
`gnus-registry-enabled' here, after we're sure the registry actually
has been loaded.
(gnus-registry-initialize): Move it out of here. All this function
does is conditionally call `gnus-registry-load'.
(gnus-registry-register-message-ids): Only check
`gnus-registry-enabled', since we'd more confident about this
now. Sort checks in order of increasing complexity.
(gnus-registry-clear): Unset `gnus-registry-enabled'.
(gnus-registry-install-hooks): This function should only install
hooks, not set variables.
(gnus-registry-unload-hook): Change the unload hook to call
`gnus-registry-clear', as that will do all the necessary
work (including calling `gnus-registry-unload-hook')

Merge remote-tracking branch 'origin/emacs-28' into trunk

Revert "Fix closure-conversion of shadowed captured lambda-lifted vars"

This reverts commit 3ec8c8b3ae2359ceb8135b672e86526969c16b7e.

It was committed to a stable branch without prior discussion;
see bug#53071.

* lisp/subr.el (remove-hook): Use set-variable-value-history for value history

* doc/lispref/windows.texi (Textual Scrolling): Remove obsolete text.

Remove text about scrolling the minibuffer from the buffer,
obsolete since Emacs 27 (bug#51210).

* lisp/files.el (lock-file-name-transforms): Doc tweaks.

; Fix typo loose/lose

* lisp/leim/quail/emoji.el: New file (bug#52605).

Add isearch-emoji-by-name

* lisp/isearch.el (isearch-emoji-by-name): Add a new command to insert
Emoji characters into incremental search strings. (Bug#52605)
(isearch-mode-map): Bind it to 'C-x 8 e RET'.
(isearch-menu-bar-map): Add it to the menu bar.
* doc/emacs/search.texi (Special Isearch): Update the documentation to
mention the new command.
* etc/NEWS: And advertise it.

Prefer unexport in Makefiles

* admin/grammars/Makefile.in, leim/Makefile.in:
* lisp/Makefile.in, test/Makefile.in:
Use unexport for EMACSLOADPATH.

Avoid user environment interfering with bootstrap

* Makefile.in, admin/unidata/Makefile.in:
* doc/misc/Makefile.in, lib-src/Makefile.in:
Don't export user environment variables that can affect running
emacs.  (Bug#53038)

Fix closure-conversion of shadowed captured lambda-lifted vars

Lambda-lifted variables (ones passed explicitly to lambda-lifted
functions) that are also captured in an outer closure and shadowed
were renamed incorrectly (bug#51982).

Reported by Paul Pogonyshev.

* lisp/emacs-lisp/cconv.el (cconv--lifted-arg): New.
(cconv-convert): Provide correct definiens for the closed-over
variable.
* test/lisp/emacs-lisp/bytecomp-tests.el (bytecomp-tests--test-cases):
* test/lisp/emacs-lisp/cconv-tests.el (cconv-tests--intern-all)
(cconv-closure-convert-remap-var): Add tests.

(cherry picked from commit 45252ad8f932c98a373ef0ab7f3363a3e27ccbe4)

Follow POSIX/GNU argument conventions for 'eshell-eval-using-options'

* lisp/eshell/esh-opt.el (eshell--split-switch): New function.
(eshell-set-option): Allow setting a supplied value instead of always
consuming from 'eshell--args'.
(eshell--process-option): Support consuming option values specified as
a single token.
(eshell--process-args): For short options, pass full switch token to
'eshell--process-option'.

* test/lisp/eshell/esh-opt-tests.el (esh-opt-process-args-test): Fix
test.
(test-eshell-eval-using-options): Add tests for various types of
options.

* doc/misc/eshell.texi (Defining new built-in commands): New
subsection, describe how to use 'eshell-eval-using-options'.

* etc/NEWS: Announce the change.

Avoid assertion violations with variable-weight fonts

* src/font.c (font_score, font_delete_unmatched): Don't assume
weight, slant, and width properties of the font must be fixnums:
some variable-weight fonts violate that assumption.  Reported
by Sean Whitton <spwhitton@spwhitton.name>.  This is for builds
with Fontconfig < v2.11.91, for which the fix in
'ftfont_pattern_entity' cannot work.  (Bug#52888)

Skip virtual FcPattern entries for variable weight fonts

* src/ftfont.c (ftfont_list): Pass FC_VARIABLE to FcObjectSetBuild.
* src/ftfont.c (ftfont_pattern_entity): Skip meta/virtual FcPattern
entries for variable weight fonts (Bug#52888).

; * doc/lispref/modes.texi (Auto Major Mode): Clarification.  (Bug#53199)

Use correct coordinates when translating XI2 crossing events

* src/xwidget.c (xwidget_motion_or_crossing): Use displaced
position instead of event position.

Ignore scroll lock key on Haiku

* src/haiku_support.cc (keysym_from_raw_char): Return special
value for keys that shouldn't be sent to Emacs.
(DispatchMessage): Respect said value.

Fix test lisp/cedet/semantic/bovine/gcc-tests on macOS (Bug#52431)

* test/lisp/cedet/semantic/bovine/gcc-tests.el
(semantic-gcc-test-output-parser-this-machine): Also detect Apple
clang on macOS Monterey.

(cherry picked from commit 6e52becfbe2a33c025b8c4838b3c8f06ba5a6fb8)

Don't fail flymake-tests if `gcc` actually is Clang

* test/lisp/progmodes/flymake-tests.el (flymake-tests--gcc-is-clang)
(different-diagnostic-types, included-c-header-files): Skip tests that
depend on the `gcc` command really being GCC and not Clang.

(cherry picked from commit b2167d98432a78442522b7564e22f47d75a98b6f)

Translate more keys on Haiku

* src/haiku_support.cc (keysym_from_raw_char): Translate print,
scroll lock, and pause/break.

Don't do Gnus article emphasis in text/html parts

* lisp/gnus/gnus-art.el (gnus-treat-emphasize): Don't do emphasis
in text/html parts, because this leads to mis-filled text
(especially with *...* that's boldified, which typically becomes
much wider).

Fix arity error when trying to add a file to an automake project

* lisp/cedet/ede/project-am.el (project-add-file): Add ignored
_FILE parameter like the other `project-add-file' methods.

Fix display of text decorations in the mode line

This is considered a temporary fix until the cause of
fringe-overwriting underlines is established.

* src/xterm.c (x_draw_glyph_string): Don't constrain decorations
if the row is a tab or modeline.

Avoid unnecessary lookup of min and max keycodes when XKB is present

* src/xterm.c (x_emacs_to_x_modifiers): Avoid calling
XDisplayKeycodes when that information is available in the xkb
desc and is not needed anyway.

Ignore resetting devices upon some events we don't have to handle

* src/xterm.c (handle_one_xevent): Ignore SlaveSwitch
DeviceChanged events.

Merge branch 'master' into scratch/correct-warning-pos

Remove the filename argument from the command line after an ELC+ELN build

This fixes bug #53164.  Without this fix, bootstrap-emacs loads the source
file uselessly into a buffer after completing the compilation.

* lisp/window.el (display-comint-buffer-action): Move to the end of file.

Move closer to pop-to-buffer-same-window after its default value
display-buffer--same-window-action is defined.

* lisp/vc/vc.el (vc-shrink-buffer-window): New function (bug#51062).

(vc-diff-finish-functions): New variable.
(vc-diff-finish): Use it.
(vc-log-finish-functions): New variable.
(vc-log-internal-common): Use it.

* src/window.c (other-window-scroll-default): New variable (bug#51210).

(Fother_window_for_scrolling): Use it.

More fixes for display-comint-buffer-action

* lisp/window.el (display-comint-buffer-action):
Use display-buffer--same-window-action as the default value.

* lisp/progmodes/sh-script.el (sh-show-shell):
* lisp/shell.el (shell): Add display-comint-buffer-action to pop-to-buffer.

* lisp/progmodes/project.el (project-shell, project-eshell): Use
`bound-and-true-p display-comint-buffer-action' for backward-compatibility.

https://lists.gnu.org/archive/html/emacs-devel/2021-12/msg02964.html

Fix display-comint-buffer-action default behavior (closes bug#52878)

* lisp/window.el (display-comint-buffer-action): Make it an alist.

Clean up filelock code related to errno

Reduce dependency on Haiku internals, by not assuming that
Haiku errno values (which are negative) are neither -1 nor -2.
This removes an #ifdef HAIKU while still maintaining
portability to Haiku.
* src/filelock.c (NEGATIVE_ERRNO, ANOTHER_OWNS_IT, I_OWN_IT):
New constants, which should work regardless of whether
we are on Haiku or B_USE_POSITIVE_POSIX_ERRORS is defined.
(current_lock_owner, lock_if_free, lock_file, unlock_file)
(Ffile_locked_p): Use them, without assuming anything about errno
value sign.

Fix userlock diagnostic

* lisp/userlock.el (ask-user-about-lock):
Fix typo (missing paren) in diagnostic.

; * doc/emacs/haiku.texi (Haiku Basics): Fix typo and wording.

Stop ungrabbing when freeing XI devices

This breaks when x_free_xi_devices is called from a
HierarchyChange event where a master device has been removed or
a slave device has been detached, and it should no longer be
required since we now rely on passive grabs.

* src/xterm.c (x_init_master_valuators): Stop calling
XIUngrabDevice on all devices.

Make native input work on GTK 2

* src/gtkutil.c (xg_create_frame_widgets): Allow focusing fixed
widget.

Stop decoding GTK event strings when using native input

* src/gtkutil.c (xg_widget_key_press_event_cb): Stop decoding
event strings.